Scarlett là con trai thứ hai của Trung tá Leopold James Yorke Campbell Scarlett. Ông nhận tước hiệu từ người anh trai của ông Shelley Scarlett vào năm 1917.

Năm 1917, ông kết hôn với Marguerite Jeanne Steinheil nhưng không có con trai thừa kế, và tước hiệu Nam tước Abinger được chuyển cho người em của ông Hugh Richard Scarlett.

Ông là luật sư bào chữa của Inner Temple và đã từng phục vụ trong Hải quân Hoàng gia.[1]